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摘 要 大 脑 可 以 对 来 自 不 同感 觉 通道 的 信息 进行 处 理 与 整合 。 与 单一 感觉 通道 相 比 , 个 体 对 同时 呈现 在 不 
同感 觉 通 道 的 目标 信号 的 响应 会 更 快 。 对 于 这 种 现象 的 一 种 主要 理论 解释 是 共同 激活 模型 ， 该 模型 认为 来 自 
不 同 通道 的 刺激 在 特定 的 脑 区 汇聚 整合 ， 比 如 顶 叶 内 沟 、 矣 上 沟 和 前 额 叶 皮 层 区 域 。 整 合 后 的 信号 强度 更 大 ， 
以 更 快 地 触发 反应 ， 但 是 信号 的 整合 发 生 在 认 知 加 工 的 哪 一 阶段 目前 尚未 有 明确 结论 。 当 个 体 对 出 现在 不 
觉 通道 之 间 的 任务 转换 进行 加 工时 ， 产 生 与 感觉 通道 相关 的 任务 转换 的 损失 小 于 跨 感 觉 通道 转换 损失 与 
任务 转换 损失 的 总 和 ， 这 为 与 感觉 通道 相关 的 转换 代价 来 源 于 任务 设置 的 惯性 和 干扰 提供 了 证 据 。 而 在 单 通 
道 和 多 通道 之 间 发 生 转换 时 ， 跨 通道 转换 代价 会 减 小 甚至 消失 ,这 是 由 于 同时 发 生 的 多 感觉 整合 抵消 了 一 部 
分 损失 ， 这 种 现象 支持 了 共同 激活 模型 理论 。 然 而 ， 多 感觉 信号 整合 对 任务 转换 的 神经 加 工 过 程 产 生 怎样 的 影 


响 并 不 清楚 ， ee 经 典 的 任务 转换 范式 结合 改进 ， 进 而 确定 跨 通道 转换 
的 加 工 机 制 和 多 感觉 信号 整合 的 发 生 阶段 。 
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生活 中 我 们 身边 的 场景 和 事物 在 不 断 变化 ， 宛 余 信号 会 让 对 象 产生 更 快 更 准确 的 反应 
需要 我 们 不 断 地 从 一 个 场景 转换 到 另 一 个 场景 中 ， Bi eh ake 
而 接收 到 的 信息 大 多 数 都 是 来 自 于 不 同 的 感觉 通 | 多 感觉 整合 和 元 余 信号 效应 
道 。 从 当前 执行 的 任务 转移 到 新 的 任务 中 去 就 是 1.1 多 感觉 整合 范式 
任务 转换 ， 对 接收 到 的 多 感觉 通道 信号 进行 处 理 ， 我 们 在 生活 中 所 接收 到 的 多 数 信息 都 是 经 由 
并 予以 响应 就 是 多 感觉 整合 过 程 。 当 目标 信号 同 不 同 的 感觉 通道 进入 大 脑 。 而 大 脑 可 以 整合 来 自 
时 在 不 同 的 感觉 通道 呈现 时 , 我 们 的 响应 过 程 会 不 同感 官 的 刺激 ， 对 这 些 信息 进行 有 机 统一 地 处 
加 快 ， 而 这 种 多 感觉 通道 信号 又 被 叫做 元 余 信 和 号 理 , 这 一 加 工 过 程 被 称 为 多 感觉 整合 。 人 研究 多 感觉 
(redundant signals, Gondan & Minakata, 2016)。 整合 行为 效应 的 常用 方法 是 使 用 简单 的 快速 反应 
们 经 党 使 用 元 余 信号 来 确保 信息 能 准确 传递 给 X 时 间 任 务 , 包括 快速 辨别 任务 和 快速 检测 任务 。 
象 ， 比 如 警车 的 警笛 和 闪 灯 ， 相 较 于 单一 a 检测 任务 要 求 参 与 者 尽 可 能 快 地 对 接收 到 的 所 有 
刺激 做 出 反应 ， 而 快速 辨别 任务 则 要 求 参 与 者 在 
收 稿 日 期 : 2021-07-12 接收 到 的 刺激 中 分 辨 出 预定 的 目标 刺激 并 快速 做 
国家 自然 科学 基金 青年 项 目 (32100848) 辽宁 省 自然 科学 出 反应 。 在 快速 反应 时 间 范 式 中 ,每 次 给 参与 者 
基金 项 目 (2020-BS-186), À a 单独 呈现 一 种 感觉 通道 刺激 (比如 单独 呈现 视觉 


辽宁 省 经 济 社会 发 展 研 究 课题 (20221slwzzkt-025)， 辽 信号 V 或 者 听觉 信号 A)， 或 者 同时 呈现 两 种 或 多 
宁 师 范 大 学 博士 启动 项 目 (BS2020L006)。 Ee ee pes i D 
通信 作者 : HESS, E-mail: jiahuil10509@163.com; 种 不 同感 觉 通 道 刺激 (比如 视觉 信号 V 和 听觉 信 号 
jiahui666@Innu.edu.cn A 一 起 呈现 )。 早 在 1962 年 , Hershenson 就 在 他 的 
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一 项 经 典 实验 中 分 别 给 参与 者 呈现 视觉 刺激 ， 听 
觉 刺 激 以 及 同步 视听 刺激 ,命令 参与 者 听 到 或 看 
到 目标 刺激 就 做 出 反应 ， 最 终 观察 到 了 视听 刺激 
同时 呈现 条 件 下 平均 反应 速度 的 加 快 (Hershenson， 
1962)。Innes 和 Otto (2019) 同 样 在 实验 中 证 实 了 
参与 者 对 双 通 道 视听 信号 的 反应 要 快 于 单独 的 视 
觉 信 号 和 听觉 信号 ， 把 同时 呈现 的 视听 信号 刺激 
称 作 宛 余 信 号 (redundant signals), Shaw 等 (2020) 
在 实验 中 利用 快速 检测 任务 范式 ， 比 较 了 参与 者 
在 响应 单 感觉 刺激 和 多 感觉 刺激 时 反应 时 的 差异 ， 
结果 表现 出 了 多 感觉 刺激 信号 的 反应 易 化 效应 。 
到 目前 为 止 , 已 经 有 大 量 的 实验 证 据 证 明 ， 在 利 
用 多 感觉 通道 刺激 (元 余 信号 ) 完 成 任务 时 ， 相 


造成 这 种 分 离 性 结果 的 原因 可 能 是 由 于 Barutchu 
和 Spence 所 使 用 的 范式 并 没有 将 快速 反应 任务 同 
转换 任务 分 离开 ， 宛 余 信 号 效应 受到 转换 代价 的 
影响 。 我 们 将 在 第 3 节 更 加 详细 地 描述 两 种 效应 
的 关系 。 
1.2 RSE 的 两 种 解释 模型 

长 期 以 来 , 研究 者 们 提出 了 多 种 可 能 的 理论 
模型 来 解释 这 种 多 感觉 信号 反应 易 化 效应 , 其 中 最 
广泛 被 接受 的 两 种 分 别 是 “竞赛 模型 (race model)” 
和 “共同 激活 模型 (coactivation modeD”。 竞 赛 模型 
(Miller，1982) 认 为 ,在 加 工 多 感觉 通道 刺激 信息 
时 ， 每 个 通道 的 信号 都 是 被 分 别 加 工 独 立 处 理 的 ， 
几 种 通道 信息 形成 竞争 模式 ， 对 宛 余 信号 的 响应 


较 于 单一 通道 刺激 (单一 信号 )， 参 与 者 的 反应 会 
更 加 准确 也 更 加 快速 ， 这 种 反应 易 化 现象 被 称 为 
元 余 信号 效应 ,， 即 RSE (redundant signals effect, 
Gondan & Minakata, 2016)。 宛 余 信 和 号 效应 是 多 感 
觉 加 工 研 究 领域 一 个 重要 的 研究 主题 。 


是 由 竞赛 的 获胜 者 决定 的 (图 1)。 以 两 种 通道 刺激 
组 成 的 匈 余 信号 为 例 ， 对 每 一 种 刺激 的 反应 时 间 
随 着 试 次 的 不 同 而 变化 ,而且 两 种 刺激 的 反应 时 
分 布 重 琶 ， 两 种 信和 号 的 竞争 会 导致 总 体 平均 反应 
时 间 的 分 布 向 着 比 每 一 种 单独 通道 感觉 刺激 的 反 


最 近 ，Barutchu 和 Spence (2021) 在 一 项 研究 
中 分 别 利用 快速 检测 任务 和 辨别 任务 探讨 了 多 感 
觉 整合 加 工 和 感觉 刺激 特异 性 的 关系 , 感觉 刺激 
使 用 了 听觉 和 视觉 形式 的 字母 b 和 字母 d， 以 单 感 
觉 或 者 双 感 觉 通 道 呈 现 。 在 检测 任务 中 ,参与 者 
尽 可 能 快 地 对 所 有 的 刺激 做 出 反应 ， 而 在 辨别 任 
务 中 , 参与 者 只 在 出 现 目标 字母 (b 或 由 的 情况 下 
做 出 反应 。 结 果 表 明 在 检测 任务 中 , 在 视觉 和 听 
党 刺激 同时 呈现 的 条 件 下 ,参与 者 的 反应 更 快 ; 
在 辨别 任务 中 ， 只 有 在 视觉 和 听觉 刺激 都 与 目标 
字母 一 致 时 才 会 出 现 宛 余 信 号 效应 ， 当 刺激 与 目 
标 不 一 致 时 反应 却 变 慢 (Barutchu & Spence, 2021)。 


s1 


通道 2 


应 时 都 要 短 的 方向 偏 移 这 种 变化 是 可 以 预测 的 ， 
因为 这 种 元 余 效 应 是 统计 简化 的 结果 (Raab, 1962)。 
共同 激活 模型 (Blurton et al.，2014) 认 为 , KAA 
同感 觉 通道 的 刺激 在 某 个 特定 的 加 工 阶段 汇聚 整 
合 , 之 后 的 信号 强度 比 任 一 单独 通道 的 分 离 信号 
的 强度 都 强 ， 也 更 快 地 达到 感觉 辣 值 从 而 触发 反 
应 , 因此 产生 元 余 信 号 效应 (图 2)。 通 常情 况 下 ， 
共同 激活 模式 下 的 对 整合 信号 的 反应 速度 要 明显 
快 于 竞赛 模型 下 的 多 感觉 刺激 反应 速度 (Maslovat 
et al., 2018)。 

为 了 区 分 竞赛 模型 和 共同 激活 处 理 模 型 ， 
Miller (1982) 提 出 了 竞赛 模型 不 等 式 (race model 


图 1 竞赛 模型 ( 引 自 Raab, 1962)。 来 自 不 同 通道 的 刺激 S1, S2 独立 行进 ,响应 由 最 先 到 达 的 刺激 激活 ， 竞赛 导致 了 


反应 时 的 统计 易 化 。S1, S2 分 别 指 来 自 不 同 通道 的 刺激 信号 ; S(t), 刺激 信号 随时 间 变 化 的 函数 
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S1(t) 
S1 
AL 通道 1 
S2(t) rae 
s2 ANR 用 应 ARS 
Js, 
图 2 共同 激活 模型 ( 引 自 Raab, 1962). 来自 不 同 通道 的 刺激 S1, S2 在 特定 区 域 汇聚 整合 , 整合 后 的 信号 强度 大 于 单 


一 的 S1 和 S2 刺激 ,能 更 1 


决 地 触发 反应 


inequality, RSD， 该 不 等 式 已 成 为 元 余 信 号 效应 相 
关 实 验 中 检验 行为 数据 的 常规 方法 。 公 式 如 下 : 

P(RT<tIS1+S2)<P(RTStISD+P(RTStS2) (1) 
注 : 不 等 式 的 左边 表示 宛 余 信 号 条 件 下 的 反应 时 概率 累积 
密度 分 布 函数 , 不等式 的 右边 分 别 是 单一 通道 输入 信号 对 
应 的 反应 概率 累积 密度 分 布 函 数 。S1 和 S2 是 指 两 种 来 
不 同 通道 的 刺激 。 


根据 这 一 公式 ,在 竞争 模型 条 件 下 ,对 宛 余 
膏 号 的 反应 时 累积 概率 总 是 等 于 或 低 于 单一 信号 
的 概率 分 布 。 当 反应 行为 数据 背离 这 一 不 等 式 的 
时 候 ， 违 反 了 竞争 模型 ， 认 为 符合 共同 激活 模型 。 
在 已 有 的 验证 实验 中 , 大 部 分 实验 结果 都 表现 出 
对 竞争 模型 的 背离 ， 从 而 支持 共同 激活 模型 假 
设 。 竞 赛 模型 不 等 式 成 立 的 前 提 假 设 是 两 个 通道 
的 刺激 信号 的 环境 独立 性 ， 即 每 一 个 刺激 在 单独 
呈现 时 和 与 另 一 种 刺激 同时 呈现 ( 宛 余 信 号 中 ) 时 ， 
反应 时 分 布 是 不 变 的 。 有 研究 者 认为 ， 当 违背 不 
等 式 (D) 时 ， 可 能 符合 共同 激活 模型 ， 也 可 能 是 因 
为 违反 了 环境 独立 性 , 产生 了 环境 依赖 (Miller， 
2016)。 环 境 依 赖 性 是 指 ， 在 匈 余 信 号 条 件 下 ,对 
两 种 刺激 的 加 工会 互相 影响 ,与 刺激 单独 呈现 时 
有 差异 ， 比 如 视觉 信号 的 存在 以 某 种 方式 影响 了 
听觉 信号 的 活动 , 产生 额外 的 激活 ， 从 而 影响 对 
听觉 信号 的 反应 时 间 。 但 是 这 种 环境 依赖 的 假设 
与 共同 激活 模型 并 不 矛盾 ， 是 对 共同 激活 模型 的 
一 个 补充 。 所 以 当 反 应 违背 竞赛 模型 时 ， 认 为 符 
合共 同 激活 模型 假设 。 

共同 激活 模型 支持 宛 余 信号 在 认 知 加 工 的 过 
程 中 发 生 了 整合 ， 加 快 了 触发 反应 的 时 间 。 不 同 
通道 刺激 的 融合 加 强 具体 发 生 在 加 工 过 程 的 哪个 


阶段 仍然 没有 一 个 统一 的 解释 ， 有 的 研究 者 认为 
整合 发 生 在 感觉 阶段 ， 有 人 认为 协同 激活 发 生 在 
反应 启动 或 者 运动 执行 等 后 期 反应 阶段 (Maslovat 
et al., 2018)。 也 有 人 提出 了 交互 模型 ， 认 为 一 部 分 
加 工 阶段 涉及 竞争 模型 ， 其 他 阶段 按照 共同 激活 
模型 活动 (Miller，2016), 确定 多 感觉 整合 交互 模 
型 的 具体 发 生 阶段 ， 还 需要 之 后 的 研究 论证 。 
13 ”共同 激活 模型 的 有 关 神 经 机 制 
目前 已 有 的 关于 RSE 大 多 数 实验 研究 结果 都 
违背 了 竞赛 模型 不 等 式 , 虽然 有 少数 几 项 研究 文 
持 竞 赛 模型 ， 但 是 都 因为 实验 证 据 的 不 充分 而 受 
到 争议 ， 而 有 关 认 知 神经 影像 学 方面 的 证 据 更 是 
少 之 义 少 (Otto & Mamassian, 2017; Shaw et al., 
2020; van der Stoep et al., 2015)。 为 此 , 在 下 文中 
将 重点 介绍 有 关 共 同 激活 模型 的 神经 机 制 。 
研究 者 认为 ， 如 果 符 合共 同 激活 模型 ， 那么 
存在 专门 加 工 多 感觉 信息 的 脑 区 ， 而 且 该 区 域 只 
在 多 种 感觉 信息 同时 呈现 时 才 被 激活 ， 基 于 此 假 
设 已 经 有 神经 成 像 研究 发 现存 在 只 对 多 种 感觉 通 
道 信 息 响 应 的 脑 区 。 以 视听 元 余 信 号 输入 为 例 ， 
处 理 视 觉 刺 激 和 听觉 刺激 的 第 一 个 皮层 区 域 是 初 
级 视觉 皮层 V1 和 初级 听觉 皮层 Al, 提取 之 后 的 
信号 进入 高 级 皮层 区 域 进行 更 加 完整 的 表征 ， 特 
别 是 村 上 沟 (STS)、 顶 叶 内 沟 (IPS) 和 前 额 叶 皮层 区 
域 (PFC) (van Atteveldt et al., 2014)， 所 以 可 以 假 
设 多 感觉 信息 的 整合 会 发 生 在 这 些 高 级 皮层 区 域 ， 
近期 的 一 些 研究 结果 也 证 实 了 这 一 假设 。 
Regenbogen 等 (2018) 在 一 项 刺激 辨别 实验 中 ， 
给 参与 者 呈现 事先 准备 好 的 视觉 刺激 和 听觉 刺激 
(A, V Fil AV 刺激 随机 呈现 )， 参 与 者 做 出 判断 响应 。 
本 实验 中 研究 者 还 控制 了 刺激 的 难度 ， 分 为 不 同 
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等 级 的 清晰 的 和 模糊 的 音 视频 , 通过 fMRI 分 析 ， 
证 实 了 顶 叶 内 沟 (IPS) 会 对 视觉 和 听觉 感觉 区 域 之 
间 的 信息 交换 进行 自 上 而 下 的 控制 (Regenbogen 
et al., 2018)。 此 外 Stickel 等 在 2019 年 的 一 项 关于 
多 感觉 整合 的 实验 中 ,利用 fMRI 对 自 闭 症 患 
和 健康 参与 者 的 嗅觉 -视觉 和 听觉 -视觉 的 感觉 整 
合 神经 网 络 进行 了 比较 。 嗅 觉 -视觉 范式 中 给 各 参 
与 者 以 单 通道 和 多 通道 的 方式 随机 呈现 匹配 的 愉 
快 /不 愉快 的 味道 和 图 片 ,参与 者 做 出 评判 响应 。 
听觉 -视觉 范式 的 刺激 信号 是 匹配 过 的 愉快 /不 从 


观察 到 的 相干 性 的 增强 则 反映 了 对 刺激 的 自 下 而 
上 的 处 理 过 程 。 这 些 研 究 结果 证 明 , 通道 之 间 的 
相互 影响 在 早期 的 初级 皮层 处 理 阶段 已 经 发 生 ， 
而 多 感觉 刺激 会 导致 更 大 的 局 部 和 更 快 的 脑 区 间 
的 振荡 相位 同步 重 置 ， 这 种 重 置 的 强度 与 更 快 的 
反应 时 间 即 匈 余 信号 效应 (RSE) 有 关 。 


2 任务 转换 


2.1 混合 代价 ,切换 代价 和 剩余 代价 
在 日 常生 活 中 , 为 了 应 付 随 时 变换 的 任务 场 


快 的 声音 和 图 片 ， 呈 现 方式 同 前 者 一 样 。 结 果 表 
明 , 不 管 在 嗅觉 -视觉 还 是 听觉 -视觉 范式 中 ， 当 
进行 多 感觉 整合 时 ， 顶 叶 内 沟 ， 内 侧 额 叶 皮 层 
下 额 叶 皮层 都 会 被 额外 激活 , 证实 了 多 感觉 整合 
加 工会 发 生 在 这 些 区 域 (Stickel et al., 2019)。 但 是 
有 研究 提供 了 证 据 表明 不 同 通道 信号 之 间 的 互动 
可 以 发 生得 更 早 甚 至 是 在 初级 皮层 处 理 阶 段 (Keil 
& Senkowski,，2018), 在 这 些 区 域 中 ,一 种 感觉 通 
道 的 信号 会 影响 男 一 个 感觉 通道 的 兴奋 性 水 平 。 
此 外 ,在 丘脑 和 上 丘 中 也 发 现 了 多 感觉 信号 整合 
的 有 关 通 路 (Cappe et al., 2007)。 这 些 脑 区 的 发 现 
也 为 之 后 研究 多 感觉 模 态 转换 的 相关 神经 机 制 提 
供 了 证 据 支 持 。 

上 述 提 到 的 脑 区 在 处 理 多 感觉 刺激 时 需要 协 
同 合作 ， 这 一 过 程 包括 各 个 脑 区 的 激活 ， 区 域 之 
间 的 功能 连接 以 及 各 个 皮层 区 域 的 神经 振荡 活 
动 。 区 域 之 间 神 经 振荡 活动 的 同步 性 可 以 促进 听 
觉 ， 视觉 或 触觉 之 间 的 跨 通道 影响 (Bauer et al., 
2020)。Mercier 等 (2013) 让 接受 过 辣 病 手术 的 患 
执行 检测 任务 , 结果 表明 听觉 刺激 会 加 强 视 觉 
层 的 神经 振荡 的 相位 重 置 ， 影响 视觉 刺激 的 处 理 
(Mercier et al., 2013)。 在 他 们 团队 的 另 一 项 研究 中 ， 
参与 者 接受 单一 或 混合 的 视觉 和 听觉 刺激 ， 同 时 
记录 听觉 处 理 区 域 的 脑 电 数 据 ， 结 果 发 现 视觉 刺 
激 可 以 重 置 听觉 皮层 中 8 (1~4 Hz) 和 90 (4~7 Hz) 频 
段 波 的 振荡 活动 。 同 时 也 发 现 了 多 感觉 条 件 下 a 
(8~12 Hz)#il B (12~30 Hz) 频 段 的 振荡 相干 性 比 单 
独 感觉 条 件 下 的 总 和 更 大 (Mercier et al., 2015)。 结 
合 Bastos 等 (2015) 对 非 人 类 灵 长 类 动物 的 解剖 追 
踪 得 到 的 结果 ,表明 较 慢 的 振荡 活动 支持 更 远 距 
离 的 耦合 ,所 以 低频 段 振荡 (比如 6 和 a) 的 多 感觉 
效应 与 更 高 阶 的 皮层 处 理 区 域 对 多 感觉 整合 自 上 
而 下 的 反馈 有 关 。, 而 在 高 频段 (如 波 ) 振 荡 活动 中 


景 ， 人 类 需要 高 级 复杂 的 认 知 控制 过 程 ， 从 而 使 
得 人 类 可 以 灵活 地 做 出 反应 , 实现 目标 。 任 务 转 
换 便 是 一 种 常用 的 探索 认 知 控制 机 制 的 实验 范式 
(Rogers & Monsell, 1995)。 任 务 转换 通常 包括 任务 
表征 , 任务 准备 ,任务 选择 ,任务 执行 等 过 程 。 在 
任务 转换 实验 中 的 前 后 两 次 试 次 中 ， 有 时 相 比 于 
上 一 次 试 次 ， 当 前 试 次 的 任务 类 型 会 发 生 改变 ( 即 
转换 条 件 )， 有 时 当前 试 次 的 任务 类 型 不 会 发 生 改 
变 ( 即 重复 条 件 )。 研 究 者 将 转换 条 件 和 重复 条 件 下 
参与 者 的 表现 做 比较 , 发 现 无 论 是 反应 时 还 是 错 
误 率 ， 都 存在 一 个 非常 稳定 的 损失 ， 叫 做 “转换 代 
价 ” 解释 这 一 现象 的 本 质 以 及 讨论 相关 的 神经 
机 制 一 直 是 任务 转换 研究 的 重点 。 

当 一 个 任务 模块 中 有 两 种 任务 类 型 ， 昌 包括 
重复 试 次 和 转换 试 次 , 将 其 称 为 混合 任务 块 (例如 
AABBAA 序列 ); 若 在 一 个 任务 块 中 ,实验 参与 
者 被 要 求 只 完成 一 种 任务 类 型 ， 即 只 包括 重复 试 
次 时 ， 则 是 单一 任务 块 (如 AAA 或 BBB 序列 )。 比 
较 这 两 种 不 同 的 模块 中 参与 者 在 重复 试 次 中 的 反 
应 差异 ,发现 混合 任务 块 中 的 参与 者 的 反应 时 比 
完成 单一 任务 块 的 时 间 要 长 ,正确 率 也 更 低 ， 这 
种 损失 叫做 混合 代价 。 

在 线索 提示 任务 转换 范式 中 ,改变 提示 刺激 
和 目标 刺激 之 间 的 时 间 间 隔 ( 即 准备 时 间 ), 会 对 
转换 代价 产生 影响 ， 延 长 准备 时 间 ，, 转换 代价 通 
常会 降低 ， 被 称 为 准备 效应 。 但 是 延长 准备 时 间 
不 会 完全 消除 转换 代价 , 已 有 人 研究 证 明 ， 即 使 准 
备 时 间 为 5 s REK, 仍 有 大 量 剩余 转换 代价 存在 ， 
这 就 是 剩余 效应 (Sohn et al., 2000)。 

2.2 ”任务 转换 相关 的 激活 脑 区 

大 脑 前 额 叶 皮层 区 域 (PFC) 是 参与 任务 转换 
过 程 的 一 个 重要 脑 区 。Dove 等 (2000) 利 用 功能 碾 
共振 技术 对 一 项 字母 判断 转换 任务 进行 探究 ， 发 
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现在 任务 转换 条 件 下 ,前 额 叶 皮层 区 域 被 额外 激 
活 。 前 额 叶 皮 层 区 域 自 上 而 下 地 参与 有 关 任 务 的 
处 理 与 控制 ,是 任务 表征 ， 选择， 准备 和 切换 的 
基础 。 比 如 根据 不 同类 型 的 任务 线索 ,能 观察 到 
PFC 的 双 侧 背 外 侧 区 域 的 激活 ， 而 且 与 任务 处 理 
相关 的 里 时下 皮层 活动 也 受到 PFC 活动 的 调节 。 
而 当 任 务 刺激 是 多 价 的 , 需要 参与 者 对 反应 类 型 
做 出 不 同 的 选择 并 且 可 能 会 犯错 误 时 , 额 叶 内 侧 
的 前 扣 带 回 (ACO) 会 被 激活 ,来 解决 由 刺激 引起 
的 冲突 (Dosenbach et al., 2007)。 
此 外 , Sohn 等 (2000) 利 用 fMRI 证 明 任务 转换 
时 ,， 顶 叶 的 有 关 区 域 被 激活 ， 例 如 顶 内 沟 区 域 在 
转换 任务 中 更 加 活跃 。 他 们 的 实验 结果 也 证 实 了 
顶 叶 区 域 可 能 存在 功能 分 离 ， 当 在 与 任务 相关 的 
维度 之 间 转 换 时 ， 顶 叶 后 部 区 域 更 活跃 ; 当 在 刺 
激 - 响 应 映射 规则 之 间 转 换 时 ， 顶 叶 前 部 更 活跃 
(Sohn et al., 2000)。 除了 上 述 额 叶 和 顶 叶 区 域 在 任 
务 转换 过 程 中 的 参与 , 已 经 有 研究 发 现 了 许多 其 
他 大 脑 区 域 在 任务 转换 时 比重 复 任务 时 更 活跃 ， 
例如 小 脑 和 杜 枕 皮层 的 各 个 区 域 (Proskovec et al., 
2019)。 总 之 , 任务 转换 需要 整合 各 种 感知 、 注 意 、 
记忆 和 运动 过 程 所 以 现在 研究 者 们 越 来 越 多 地 
把 焦点 集中 在 识别 和 理解 任务 转换 过 程 的 不 同 大 
脑 区 域 之 间 的 功能 联系 上 。 
2.3 ”任务 转换 中 的 神经 振荡 活动 

在 一 般 性 任务 转换 范式 (转换 只 发 生 在 单 通 
道 刺激 之 间 ) 的 研究 过 程 中 对 任务 转换 实验 中 的 
ERP 结果 进行 时 频 转换 ， 分 析 额 顶 叶 区 域 不 同 频段 
波 的 振荡 变化 , 研究 与 转换 和 混合 代价 有 关 的 脑 
神经 振荡 活动 ， 从 而 探究 任务 转换 过 程 涉及 到 的 
神经 加 工 机 制 。 许 多 相关 的 人 研究 结果 表明 (Cooper 
et al., 2016; Wu et al., 2015)， 相 较 于 重复 试 次 ， 额 
顶 叶 区 域 的 a 频带 振荡 在 转换 条 件 下 会 有 显著 的 
减 小 (转换 效应 )， 同 样 地 ， 和 单一 重复 任务 相 比 ， 
混合 任务 中 的 重复 试 次 结果 中 的 a 频带 波 的 振荡 
强度 显著 下 降 (混合 效应 )， 这 也 与 上 述 提 到 的 行 
为 结果 一 致 。 此 外 ,混合 效应 差异 比 转换 效应 造 
成 的 振荡 差异 发 生得 更 早 且 更 加 持久 。 这 一 现象 
也 证 实 了 转换 代价 和 混合 代价 分 别 同 短暂 的 和 持 
久 的 认 知 控制 机 制 有 关 (Capizzi et al., 2020) 。 一 般 
认为 a 频带 的 振荡 活动 在 任务 转换 中 的 功能 意义 
是 可 以 激活 一 种 抑制 性 的 自 上 而 下 的 认 知 机 制 ， 
具体 来 说 ， 当 一 个 新 的 任务 设置 与 当前 任务 设置 


发 生 竞争 , a 波 的 振荡 活动 可 以 抑制 注意 力 的 分 散 ， 
促进 对 当前 任务 的 反应 (Foxe et al., 2014). 

p 频段 的 振荡 变化 模式 同 a 波段 一 致 ， 也 存 
在 混合 效应 和 转换 效应 (Capizzi et al., 2020)。 即 在 
混合 任务 中 ,转换 条 件 中 B 波 的 振荡 强度 显著 降 
低 ; 混合 任务 中 的 重复 试 次 和 全 重复 任务 中 试 次 
的 结果 对 比 ,B 波 的 振荡 强度 呈现 同样 的 降低 的 结 
果 ， 而 且 混 合 效应 大 于 切换 效应 。 然 而 关于 任务 
转换 中 的 B 振荡 的 功能 还 没有 得 到 彻底 的 解决 ， 
Cooper 等 (2019) 认 为 任务 转换 期 间 的 B 振荡 主要 
与 感觉 运动 功能 (如 运动 执行 和 准备 ) 有 关 , 但 是 
Capizzi 等 (2020) 反 驳 了 这 一 观点 ， 认 为 在 任务 转 
换 中 , B 波 的 振荡 变化 反映 了 非 运 动 过 程 的 参与 ， 
因为 B 振荡 的 脑 区 分 布 并 不 局 限于 感觉 运动 皮层 
区 域 。 这 一 结论 也 在 最 近 的 研究 中 找到 了 证 据 
(Spitzer & Haegens, 2017), 非 运动 区 的 B 振荡 与 
许多 认 知 过 程 有 关 ， 如 工作 记忆 , 长 期 记忆 和 决 
策 等 。 由 此 我 们 认为 与 a 波 类 似 ,B 波 的 神经 振荡 
活动 同样 反映 了 大 脑 自 上 而 下 的 加 工 机 制 。 

0 频段 的 波 的 振荡 变化 与 a 和 $B 频段 不 同 , 相 
对 于 重复 试 次 , 切换 条 件 中 0 波 的 振荡 强度 显著 增 
大 ,存在 明显 的 转换 效应 。 最 近 的 一 项 研究 也 表 
BH, 额 顶 叶 的 9 波 活动 强度 的 增加 与 转换 代价 成 
反比 ,表示 高 效 的 认 知 控制 (Cooper et al., 2017). 
这 些 研究 结果 表明 9 波 的 振荡 活动 对 转换 代价 很 
敏感 ， 在 任务 转换 机 制 中 发 挥 重要 作用 (Capizzi 
et al., 2020)。 结 合 这 些 研 究 结果 ， 我们 猜想 9 频段 
的 振荡 活动 可 能 与 注意 的 转移 有 关 。 当 前 要 执行 
的 任务 与 之 前 的 任务 不 同时 ,参与 者 需要 将 注意 
力 转移 到 新 的 相关 刺激 上 ， 建 立新 的 任务 设置 ， 
所 以 更 大 的 9 波 的 振荡 强度 反映 了 更 加 灵活 的 注 
意 转移 能 力 。 而 对 于 9 波 的 振荡 活动 与 混合 效应 
的 关系 目前 却 并 没有 得 到 稳定 明确 的 证 据 支持 ， 
它 在 任务 转换 过 程 中 具体 的 功能 性 意义 也 需要 更 
多 研究 证 据 的 支撑 。 


3 多 感觉 整合 和 转换 效应 的 关系 


3.1 ” 跨 通 道 转换 效应 

如 上 文 所 述 , 在 几乎 所 有 的 多 感觉 整合 研究 
中 ,一 个 核心 的 实验 设计 是 快速 反应 时 间 任 务 。 
单 通 道 感觉 刺激 和 双 通 道 感 党 刺激 被 以 可 变 的 刺 
激 时 间 间 隔 随 机 地 混合 在 一 起 呈现 , 单 通道 刺激 
和 多 通道 刺激 可 以 分 别 单独 在 一 个 任务 块 中 呈现 
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也 可 以 随机 地 混合 在 一 起 呈现 ， 这 种 实验 设计 类 
似 于 任务 转换 范式 中 的 混合 块 设 计 。 在 多 感觉 混 
合 任务 块 中 ， 前 后 两 个 刺激 通道 相同 时 (V-V，A-A 
或 者 AV-AV)， 是 通道 重复 条 件 ; 前 后 两 个 刺激 通 
道 不 同时 (A-V 或 者 VA)， 即 为 通道 转换 条 件 。 除 
了 对 比 AV 和 A, V 条 件 下 地 反应 时 会 出 现 匈 余 
信号 效应 之 外 ,根据 任务 转换 中 前 后 两 种 任务 不 
同时 会 产生 转换 代价 , 在 多 感觉 刺激 混合 任务 中 
应 该 也 能 观察 到 类 似 的 跨 通 道 转换 代价 和 混合 
代价 。 

已 经 有 很 多 研究 证 实 了 这 种 猜想 , 例如 Spence 
等 (2001) 给 参与 者 随机 呈现 一 系列 视觉 ,听觉 和 
触觉 刺激 ， 前 后 刺激 通道 相同 时 ,平均 反应 时 比 
通道 不 同时 显著 减 小 , 产生 了 通道 转换 代价 。 同 
样 地 ，Shaw 等 在 实验 中 分 别 给 出 单一 视觉 刺激 ， 
单一 听觉 刺激 还 有 混合 多 感觉 刺激 ， 要 求 参 与 者 
尽 可 能 快 地 做 出 反应 , 在 结果 中 出 现 了 跨 通道 转 
换代 价 和 混合 代价 (Shaw et al., 2020)。 但 是 需要 注 
意 的 结果 是 ， 当 刺激 是 在 单 通道 和 双 通 道 之 间 转 
换 时 (例如 A-AV, V-AV 等 ), 通常 反应 损失 会 减 小 
甚至 消失 。 这 种 因为 前 后 刺激 通道 不 一 致 比 通道 
一 致 产生 的 反应 速度 降低 的 现象 被 称 为 跨 通道 转 
换 效应 ( 孙 远 路 等 , 2011)。 
3.2 ”转换 代价 与 RSE 的 关系 
由 上 可 知 ， 当 转换 是 发 生 在 不 同 通道 刺激 之 
间 时 ,依然 存在 转换 代价 ,损失 来 源 是 通道 转换 
效应 。 这 种 跨 通 道 转换 代价 的 存在 对 RSE 中 单 
纯 的 多 感觉 协同 激活 的 解释 模型 产生 质疑 (Shaw 
et al., 2020)。 因 为 转换 代价 和 混合 代价 的 存在 ， 即 
使 行为 数据 违背 了 竞赛 模型 ， 双 感觉 反应 时 间 的 
加 速效 应 也 可 能 是 因为 混合 组 块 中 的 单 通 道 感觉 
刺激 之 间 存 在 转换 损失 而 导致 单一 感觉 平均 反应 
时 变 长 , 而 不 是 双 通 道 感觉 反应 时 缩短 (Shaw et al., 
2020)。Barutchu 和 Spence (2021) 在 实验 中 证 实 跨 
通道 转换 效应 会 潜在 地 提高 多 感觉 反应 易 化 效应 ， 
RSE 使 得 多 感觉 通道 条 件 下 的 反应 变 快 ， 跨 通道 
转换 效应 使 得 单一 通道 条 件 的 反应 变 慢 ， 总 体 反 
应 时 更 小 。 根 据 上 述 RSE 有 关 的 神经 加 工 机 制 ， 
在 刺激 驱动 和 认 知 的 调控 下 多 感觉 整合 会 发 生 在 
言 息 加 工 的 某 一 阶段 ， 所 以 混合 模块 中 单一 通道 
感觉 的 反应 减缓 (通道 转换 效应 ) 和 双 通 道 感觉 的 
反应 加 速 ( 共 同 激活 模型 ) 之 间 并 不 是 非 此 即 彼 的 。 
总 之 ， 路 通道 转换 效应 可 以 为 RSE 的 来 源 提供 一 


种 新 的 解释 思路 ,通道 转换 促进 了 多 感觉 反应 易 
化 , 并 且 与 共同 激活 模型 不 是 完全 对 立 的 。 
3.3 ”神经 机 制 

目前 很 少 有 实验 使 用 脑 电 或 功能 磁 共 振 等 技 
术 同 时 对 跨 通道 转换 效应 和 宛 余 信号 效应 的 神经 
影像 进行 对 照 研究 Elkhetali 等 (2019) 利 用 功能 硫 
共振 研究 了 在 多 感觉 通道 刺激 输入 的 条 件 下 , 任 
务 类 型 在 视觉 和 听觉 任务 之 间 转 换 时 ， 相 关 脑 区 
功能 连接 的 差异 。 结 果 显 示 , 在 处 理 当 前 相关 任 
务 时 ， 背 外 侧 前 额 叶 皮层 ， 腹 外 侧 前 额 叶 皮 层 和 
额 下 回 区 域 与 感觉 皮层 的 功能 连接 增强 且 与 刺激 
的 通道 类 型 无 关 (Elkhetali et al., 2019)。 但 是 在 这 
次 实验 中 ，Elkhetali 等 并 没有 比较 通道 重复 条 件 
和 通道 转换 条 件 下 的 脑 区 连接 差异 ， 研 究 跨 通道 
转换 效应 相关 的 神经 加 工 机 制 。 结 合 上 文 提 到 的 
任务 转换 和 RSE 的 神经 加 工 机 制 ， 猜 测 当 刺激 是 
多 通道 呈现 时 ， 跨 通道 转换 条 件 下 额 顶 叶 网 络 包 
括 前 额 叶 皮 层 ， 额 叶 内 侧 和 项 叶 皮 层 会 有 额外 激 
活 ， 对 比 宛 余 信 号 和 单 通道 信号 条 件 时 ， 初 级 感 
觉 皮 层 ， 杜 叶 和 额 顶 叶 区 域 的 活动 强度 可 能 会 增 
强 。 相 应 地 ， 跨 通道 转换 条 件 下 的 a 和 B 波 的 神 
经 振荡 活动 也 应 该 会 表现 出 转换 效应 和 混合 效应 ， 
而 RSE 的 存在 会 影响 转换 条 件 下 振荡 的 相位 同步 
性 变化 。 


4 小结 与 展望 


本 文 介绍 了 认 知 加 工 过 程 中 的 两 种 不 同 效应 ， 
一 种 是 多 感觉 整合 过 程 中 的 宛 余 信号 效应 ， 另 一 
种 是 任务 转换 中 的 反应 损失 效应 。 而 在 RSE 有 关 
的 研究 中 ,我 们 发 现 了 路 通道 转换 效应 。 这 种 跨 
通道 转换 效应 将 上 述 两 种 不 同 的 现象 联系 在 一 起 ， 
不 但 为 多 感觉 整合 中 的 宛 余 信 号 效应 提供 了 另 一 
种 可 能 的 解释 ， 也 使 得 跨 通道 转换 效应 成 为 之 后 
研究 多 感觉 整合 过 程 中 不 可 忽视 的 一 个 因素 。 由 
于 当前 有 关 任 务 转换 的 研究 很 少 从 多 感觉 通道 任 
务 转换 的 角度 研究 转换 代价 ,尤其 是 神经 影像 学 
方面 的 研究 更 加 缺乏 ， 所 以 跨 通道 转换 效应 的 发 
现 可 能 为 任务 转换 代价 来 源 的 研究 提供 不 同 的 
方向 。 
41 跨 通道 转换 代价 的 来 源 

任务 转换 过 程 中 会 产生 反应 损失 ,对 于 损失 
的 来 源 主 要 有 两 种 观点 ,任务 重建 和 任务 设置 惯 
性 ( 史 艺 芍 和 周 晓 林 , 2004)。 虽 然 对 于 跨 通 道 转换 
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效应 的 具体 来 源 还 没有 足够 的 实验 证 据 的 支撑 ， 
但 是 我 们 可 以 根据 经 典 任务 转换 损失 的 来 源 对 跨 
通道 转换 效应 的 来 源 做 出 假设 。 也 即 是 ， 当 响应 
从 对 一 种 通道 刺激 转移 到 另 一 种 通道 刺激 时 ， 不 
但 前 后 的 注意 资源 分 配 会 有 所 差异 ， 而 且 也 会 有 
自 上 而 下 的 认 知 加 工 对 前 一 个 试 次 处 理 的 抑制 作 
H, 所 以 会 存在 转换 损失 。 


的 神经 机 制 产 生 影响 。 当 任务 转换 范式 中 的 刺激 
是 视听 同时 呈现 , RSE 的 存在 可 能 会 抵消 转换 造 
成 的 反应 损失 ,影响 转换 过 程 中 神经 振荡 的 同步 
性 变化 和 相关 脑 区 的 激活 强度 。 在 后 续 的 实验 中 
可 以 通过 分 离 跨 通道 转换 和 RSE 这 两 种 效应 对 反 
应 时 的 影响 来 验证 这 一 假设 ,并 结合 脑 神经 相关 
技术 ,比较 两 种 效应 的 作用 机 制 , 确定 多 感觉 信 


当 发 生 转 换 的 两 种 任务 的 刺激 是 通过 不 同 通 
道 呈 现时 , 任务 转换 和 通道 转换 会 同时 出 现 ， 那 
么 任务 转换 和 感觉 通道 的 转换 都 会 产生 显著 的 转 
换代 价 (Sandhu & Dyson, 2013)。 研究 结果 还 发 现 ， 
通道 和 任务 同时 发 生 转 换 产 生 的 代价 分 别 大 于 单 
独 的 跨 通道 转换 代价 和 任务 转换 代价 , 但 是 小 于 
两 种 代价 的 总 和 ， 即 出 现 了 次 加 性 效应 (Peng et al., 
2018)。 人 研究 者 认为 这 种 次 加 性 效应 表明 了 跨 通 道 


号 整合 发 生 在 认 知 加 工 的 哪 一 阶段 ,完善 共同 激 
活 模 型 理论 。 
4.3 多 感觉 整合 范式 的 改进 

为 了 解决 上 述 提 出 的 跨 通道 转换 代价 来 源 以 
及 共同 激活 发 生 阶段 等 问题 , 对 现 有 的 任务 转换 
范式 和 多 感觉 反应 范式 进行 改进 。 首 先 , 把 RSE 
研究 范式 和 任务 转换 经 典范 式 相 结合 ， 比 如 两 种 
任务 分 别 是 判断 数字 的 奇偶 或 大 小 ， 而 每 一 个 数 


转换 和 任务 转换 过 程 既是 相互 依赖 又 是 相互 独立 
的 ,一 方面 ， 当 通道 和 任务 都 发 生 转 换 时 ,通道 的 
转换 (如 视觉 到 听觉 ) 使 得 完成 不 同 任务 涉及 到 的 
神经 通路 的 重生 减少 ,转换 后 的 任务 受到 之 前 任 
务 设置 的 干扰 小 , 减少 了 反应 时 损失 ,进而 跨 通 
道 转 换 和 任务 转换 过 程 得 以 分 离 , 在 一 定 程度 上 
相互 独立 。 尽 管 缺乏 相关 神经 基础 证 据 的 证 实 ， 
但 是 这 一 结果 似乎 为 转换 代价 来 源 于 之 前 任务 设 
置 的 惯性 和 干扰 提供 了 支持 ， 未 来 的 研究 中 可 以 
进一步 探究 。 另 一 方面 ,研究 者 认为 存在 一 个 共 
同 的 认 知 处 理 中 枢 对 两 种 转换 过 程 起 作用 ,这 种 
认 知 中 枢 体 现在 额 项 叶 网 络 。 然 而 , 额 项 叶 网 络 
的 具体 加 工 过 程 及 神经 机 制 需要 在 以 后 的 研究 中 
继续 探索 。 
4.2 ” 跨 通 道 转换 效应 对 RSE 共同 激活 模型 理论 

的 补充 

根据 共同 激活 模型 理论 ， 多 感觉 信号 会 在 加 
工 过 程 中 进行 整合 ,整合 后 的 信号 更 快 地 触发 反 
应 ， 然 而 现在 为 止 不 同 模 态 刺激 的 整合 加 强 具 体 
发 生 在 加 工 过 程 的 哪个 阶段 这 一 问题 仍然 没有 被 
证 明 。 有 研究 者 发 现 ， 当 转换 是 发 生 在 两 种 不 同 的 
单 通道 之 间 , 信息 处 理会 有 显著 的 时 间 损 失 ; 但 
是 当 反 应 是 在 多 通道 和 单 通道 之 间 转 换 时 ， 转 换 
效应 则 不 稳定 甚至 不 会 观察 到 转换 代价 (Barutchu 
& Spence, 2021; Shaw et al., 2020)。 我 们 认为 这 种 
转换 代价 的 消失 可 能 是 由 于 同时 发 生 的 RSE 抵消 
了 转换 造成 的 损失 ,从 而 支持 共同 激活 模型 理论 ， 
并 且 多 感觉 信号 的 整合 加 工 也 可 能 对 转换 过 程 中 


字 刺 激 的 呈现 形式 包括 图 片 (V) 和 音频 (A)， 刺 激 
呈现 的 通道 方式 包括 A-A-A...,V-V-V...,，AV-AV- 
AV...， 每 一 种 模块 中 都 会 包含 任务 重复 条 件 和 转 
换 条 件 , 通过 对 比重 复 条 件 和 转换 条 件 下 RSE 的 
大 小 ,分析 转换 效应 对 宛 余 信号 效应 的 影响 。 其 
次 , 在 单 通道 任务 转换 范式 中 加 入 路 通道 转换 条 
件 ， 比 如 数字 刺激 分 别 以 视觉 和 听觉 的 形式 随机 
SEER, 这 样 转换 可 以 发 生 在 通道 间 , 通道 内 或 同 
时 出 现 , 通过 比较 两 种 转换 同时 发 生 和 单独 发 生 
时 脑 区 激活 位 置 差异 和 强度 差异 ， 进 一 步 定 位 两 
种 转换 过 程 共有 的 认 知 处 理 中 枢 。 

此 外 ， 跨 通道 转换 代价 是 由 于 前 后 神经 回路 
的 改变 还 是 由 于 自 上 而 下 的 认 知 加 工 转换 导致 的 
还 无 定论 , 为 了 确定 跨 通道 转换 代价 的 来 源 ， 可 
以 在 实验 中 增加 数字 , 文字 或 者 具有 不 同意 义 的 
图 片 这 些 需 要 额外 认 知 加 工 的 刺激 信号 ， 与 经 典 
RSE 研究 中 的 无 意义 音频 或 图 形 进行 条 件 对 比 研 
究 。 最 后 ， 目 前 对 跨 通 道 转换 的 研究 主要 集中 在 
听觉 和 视觉 两 个 通道 ， 然而 当 宛 余 信 和 号 是 听觉 或 
视觉 同 其 他 感觉 通道 (如 嗅觉 或 触觉 ) 的 组 合 时 ， 
是 否 还 能 观察 到 同样 稳定 的 跨 通道 转换 代价 并 促 

感觉 信号 的 反应 易 化 效应 ， 仍 需 在 之 后 的 研 
进一步 探究 。 
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Abstract: The signals from different sensory channels could be integrated and processed in brain. Compared 


with stimulus from a single sensory modality, the individual responses was faster for the multisensory target 


signals. One theory explaining this phenomenon is the co-activation model. According to the co-activation 


model, the signals input through multiple sensory channels would be integrated in specialized brain regions, 
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such as the intraparietal sulcus, superior temporal sulcus and prefrontal lobe regions. The strength of the 
integrated signal is stronger, which could trigger the reaction more quickly. However, the integration of the 
multisensory signals has not been concluded to occur in which phase of the cognitive processing. When the 
task is switched between different modalities, the cost of task switching associated with the cross-modal is 
less than the sum of the modality switching cost and the single task switching cost, which provides evidence 
for the hypothesis that the switching cost associated with different sensory channels are derived from inertia 
and interference of the task set. Moreover, when modality switching occurs between single-modal and multi- 
sensory, the modality switching cost will reduce even disappear, which is due to the multisensory integration 
offset a part of loss. This supports the co-activation model. However, it’s unknown how the multi-sensory 
integration affects the nerve processing of the task switch. We could try to solve it by combining the 
multisensory integration research paradigm with the classic task switching paradigm, further to determine 
the processing mechanism of the cross-modal shift and the processing phase of multisensory integration. 
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